如何存储泽字节（ZB）级的海量数据？

存储容量正以前所未有的速度迅猛增长。于是，在本月由富士胶片公司（Fujifilm）在洛杉矶召开的第7届年度全球IT高管峰会上，微软Azure的合作伙伴开发经理Aaron Ogus提出了一个令人关注的问题：如何存储泽字节（ZB）级的海量数据？

对微软公司来说，这不仅仅是一项学术活动。Ogus负责处理云存储，目前将艾字节（EB）级的数据存储在数百万个传统硬盘（HDD）上，作为其云存储系统。他在2007年开始着手时，公司在1U服务器里面使用四个容量为750 GB的传统硬盘。

Ogus说：“我们在这段时间内将成本减少了98%，其中80%得益于存储设计方面的改进。”

之所以青睐服务器使用四个硬盘的设计，背后的原因是标准化和降低成本。然而，Ogus表示，这完全限制了计算存储比，于是他想知道每台服务器装更多个硬驱是不是更为合理。这个想法的结果就是，建立了EB级归档存储系统。

这种设计被微软设计部门称为Pelican机架级冷数据存储，全面考虑到了电力、散热、机械、电气、存储和软件等方面的成本和效率。它包括一个52U机架中的1152个SATA磁盘，只有两台服务器。每个机架的耗电量仅为约3.5千瓦，所以在任何一个时间转动的磁盘数量不超过8%。

Ogus说：“Pelican是为冷数据工作负载配置的，所以它针对密度和每GB成本（$/GB）进行了优化。它使用SATA作为数据归档介质，因而功耗低、成本低、性能低、容量大。”

但是为EB级数据找到一种解决方案还不够，下一个研究项目是研制出具有成本效益的ZB级存储。一方面的挑战在于，让存储基础设施的效率向计算方面的效率看齐。

Ogus说：“摩尔定律隐藏了低效问题。我所定的目标是，设计方面比上一年改进20%。”

回顾过去25年，出现的一种模式是，内存、处理器和硬盘的性能及容量稳步提升。但是这种提升会保持下去吗？当然，处理器、内存、闪存和网络方面都有长远规划的路线图。但是对磁盘来说，情况不一样。

硬盘中使用的当前技术被称为垂直磁记录（PMR），磁录密度已达到了限制。叠瓦式磁记录（SMR）是一个可行的解决之道，有望将磁盘密度最多提高25%。另一项已露端倪的技术就是热辅助磁记录（HAMR），它使用激光在更小空间写入更多数据。

Ogus说：“传统硬盘遇到了PMR的极限，SMR只能算是一次升级。HAMR似乎才是未来的主要希望所在。”

一些人预计，到2020年，HAMR及其他新兴技术有望将磁盘成本降低到每GB仅为1美分或2美分。目前，每GB成本为4美元或5美分。闪存如何？微软研究部门的数字估计，眼下每GB闪存的成本约50美分；如果3D闪存实现预期的性能提升，预计到2020年最多会降至每GB 10美分。

另一方面，磁带已有10TB的款式在交付；从现有测试来看，基于现有的技术突破，磁带的潜在密度可高达220TB。磁带的数据速率目前为320 MB/s，正逼近1 GB/s。然而，90秒的存取时间阻止磁带应用于更高的存储层。不过横向比较一下，30只光盘的容量目前相当于1个磁带。到2020年，每个磁带的容量相当于100只光盘。

Ogus说：“磁带和光盘的一大优点是，你可以从读取装置删除存储介质。但是相比光盘，磁带有更靠谱的路线图。”

所以，不妨从存储ZB级数据方面来看一下这意味着什么。到2020年，ZB级存储这个问题会变得更加突出，到时使用的智能手机数量将达到约50亿部，每部都在生成海量的文本、电子邮件、照片和视频等数据。

据Ogus声称，如果将1ZB数据存储在闪存上，存储目前的数据量每年要花费1.15万亿美元，到2020年，可能会降低到每年只有2380亿美元。除了闪存成本实在太高这一点外，还有这个问题：闪存厂商还无法做到每年生产200 EB的闪存。

就传统硬盘而言，每年的存储费用将是2015年410亿美元，到2020年会是每年170亿美元。光盘的成本较便宜，2015年每年约270亿美元，到2020年，可能会降至每年仅40亿美元。但是这基于这个假设：每3.5年只有一次重写，这限制了光盘作为归档介质的用途。这里的一个大问题是，将来需要数量巨大的光盘。光这一个因素就排除了其作为ZB级存储介质的有效性。

磁带的成本要低得多，2015年每年只要80亿美元，到2020年降至19亿美元。它基于这一假设：到那时，磁带能够在以太网上运行，而不是在光纤通道（FC）上运行。

Ogus说：“到2020年，存储ZB级数据在云端行得通。但是，一些冷归档策略必须是经济高效地存储ZB数据的任何策略的一部分。”

这意味着磁带将成为归档系统中存储非活动数据的较低层，而磁盘和闪存存储的数据是数据总量中极小一部分。这就是为什么Ogus认为分层（tiering）是控制成本的一个关键。因此，他认为，致力于研究在存储层之间顺畅移动数据的方法将是未来十年云计算发展领域的一个重要方面。

Ogus说：“所有云服务提供商将使用磁带，并且会以前所未有的程度来使用。”

新闻来源：www.infostor.com｜云头条编译（未经授权谢绝转载）